ChatGPT一声惊雷,平静的搜索江湖瞬间风暴骤起。微软高调上线ChatGPT版Bing搜索引擎,逼得Google仓促应战,推出基于LaMDA 模型的同款聊天机器人,结果Bard变bug,反而把自家股价打掉了2000亿美元。
与此同时,百度也宣布自研的“文心一言”正在加速内测,预计三月底问世。
蛰伏已久的科技巨头们同时变得紧张,除了ChatGPT在公众中掀起的热潮,也因为他们预感到ChatGPT所代表的LLM(大语言模型)应用很可能是一种“元技术”。
“元技术”指的是该技术的持续运用可以反过来加速技术本身的进步。 例如:芯片在现实世界中的应用能从开发效率,应用场景和资金投入上反哺研发,从而加速芯片本身的进步;“元技术”的发展符合指数增长的规律,因此能够克服研发管理中常见的复杂度爆炸,逃离“中等进步陷阱”的引力束缚。
也正是由于“元技术”的属性,芯片的研发才能够不断实现突破,追上摩尔定律的要求,相比而言生物技术等非“元技术”,则在摘光低垂的果实后搭不出技术升级的垫脚石,从而深陷Eroom’s Law(反摩尔定律)的泥潭。
正如大家体验到的,使用ChatGPT可以极大解放工作效率,这也包括Open AI自己的研发人员。亿级用户对ChatGPT的花式提问和反复测试出的“prompt黑魔法”,也为后续版本的迭代迅速积攒了海量素材。
除此以外,LLM单次训练的巨大成本和对算力资源的占据,也构成了对新玩家残酷的进入壁垒。
随着竞争的加剧,无论是资金还是算力都会理性的向技术领先者集中,从而自我实现“强者愈强”的马太定律。
至此,ChatGPT的“元技术”飞轮,隐隐已形成闭环。所以,如果没有在“技术奇点”前及时上车,已有科技巨头和OpenAI在AI应用上差距将不可逆的拉大,最终陷入万劫不复的螺旋衰落;而那些小型AI创业团队,面对模型代差和资源无法弥补的差距,灭顶之灾已然到来。
而在更高的层面上,作为“元技术”的ChatGPT可能对中国的未来具有核弹级的震荡性。
过去十年中国科技产业的进展,靠的是“fast follow”和工程化上充满暴力美学的 “饱和式执行”。而这背后所依托的,则是国内教育体制带来的“工程师福利”。
虽然培养不出S级的创新人才,但产出的B级标品量大管饱:稳定、勤奋、执行力强、而且还相当便宜,可以迅速填平从源头创新到应用落地的时间差距,直接把海外的原创者给卷没了。
但ChatGPT作为史上最优秀的复读机,恰好和“中国机器人”的功能重合了。
你会的我也会,你不懂的我还懂,你能996,但我能365天007,你行吗?更何况ChatGPT还不是人,无负面情绪之乱耳,无柴米油盐之劳形,不会辞职,绝不躺平。
熟练运用ChatGPT相当于雇了一个随叫随到,皮实耐造,拥有各知识领域基础技能的助理团队。
对眼高过顶的S级创新者而言, ChatGPT为其想法的prototype落地提供了全天候的助力;对集聚S级人才的创新企业而言,ChatGPT则意味着执行落地不再成为主要的发展瓶颈。而人员规模的瘦身和智力浓度的提升,还能进一步减少内部信息传导的损耗,如只有四百人的Open AI那样敏捷高效。
在这种情况下,使用开源框架fast follow的大厂策略还能产生规模效应吗?即便还能压缩出成本优势,也会在时间效率上遭遇降维打击。国内有人常常嘲笑美国大学在产出少量S级和A级精英的同时,却制造了一堆垃圾,以至于要从中印长期进口B级好员工;现在可能要笑不出来了。
过去擅长的骑射武功突然过时了,而机关枪对射的世界里没有你的位置。因此,如果BAT没有抢到此轮ChatGPT的船票,科技产业将错失这一致命的“奇点时刻”。遗憾的是,国内众多玩家不但在模型上被拉开身位,在算力和数据上也即将甚至已经面临极大的限制。
LLM对算力的吞噬是贪婪的,GPT-3 的1750亿参数(45.3T)模型单次训练需要1024张NVIDA A100 GPU训练34天。但是,目前A100这个级别的芯片是禁运的。接下来,GPT-4需要的算力可能会继续增加两个数量级,我们那时候用什么芯片来追赶呢?毕竟现在连45nm制程的光刻机都要被禁运了。
芯片禁运对国内AI技术的压制堪称智子锁死。
有人说这没关系,可以通过叠加成熟制程的芯片以量换质,或是慢点训练最终也能达到同等技术水平。芯片禁运,本来就不是为了一锤子打死你,而是通过增加中国科技企业的算力成本,让任何AI应用的落地在财务上不可行(甚至在热力学上都不可行),搞得你只能在利润失血和被迫缴械之间二选一,无法进入良性业务循环。
只要持续禁运,拖慢对手的进程,在过了“奇点时刻”后,“元技术”的代差可能就无法收敛了。如果新一轮LLM输出的成果反哺到芯片研发的流程,那么这种速度差距将会进一步拉开。
而在数据来源上,微软和Google依托的是超主权的全球互联网文本。以CPT-3为例,数据主要来自Common Crawl,共31亿个页面,覆盖了2016-2021年间的互联网文本数据,并用WebText2作为高质量文档类对原始数据进行了质量过滤;此外还导入2个图书库和Wikipedia进行了额外补充。
BAT所依托的中文互联网,在量级上不够(Common Crawl里中文数据不到5%),而且数据生态也不够好。
大部分中文页面的信息可信度还不如百度贴吧,极少的高质量数据则被圈在各个厂家私域的“围墙花园”中,而且有相当多的链接打开后是404。至于用结构化数据库进行补充,你指的是知网和百度百科这对哼哈二将吗?
以这种质量和结构性缺失的数据集进行训练,结果很可能是garbage in garbage out的废话生成器,就比如百度匆匆下线的Plato杠精机器人。
而在当前的数据主权和信息安全规范下,利用海外数据“西数东算”再翻译回中文也困难重重。更深一层思考,又如何剔除“进口模型”中内隐的意识形态植入?“根据相关法律,本答案不予显示”?精明如微软,一开始就封掉了中国IP使用ChatGPT版Bing搜索引擎的权限,割以永治。
致命的奇点时刻,正在敲响警钟。